List Scheduling: The Price of Distribution

Classical list scheduling is a very popular and efficient technique for scheduling jobs in parallel and distributed platforms. It is inherently centralized. However, with the increasing number of processors in new parallel platforms, the cost for managing a single centralized list becomes too prohibitive. A suitable approach to reduce the contention is to distribute the list among the computational units. Thus each processor has only a local view of the work to execute. The objective of this work is to study the extra cost that must be paid when the list is distributed among the computational units. We present a general methodology for computing the expected makespan based on the analysis of an adequate potential function which represents the load unbalance between the local lists. It is applied to several scheduling problems, namely, for arbitrary divisible load, for unit independent tasks, for weighted independent tasks and for tasks with dependencies. It is presented in detail for the simplest case of divisible load, and then extended to the other cases. More precisely, we prove that the time for scheduling a global workload W on m processors is equal to W/m with an additional term in 4e e−1 log2W . We provide a lower bound which shows that this is optimal up to a constant factor in log2W . This result is extended to the case of independent unit tasks and independent weighted tasks using a similar analysis. Moreover, we show how to adapt this methodology to the case of precedence task graphs. This analysis allows to improve the constant factor in the additive term of the bound of Arora, Blumofe and Plaxton. We finally provide some experiments using a simulator. We are able to fit the distribution of the makespan with existing probability laws. Moreover, we study the additive factor and show that it is around 3 log2W which indicate that our analysis is tight up to a factor less than 3. Key-words: Scheduling, List algorithms, Distributed data, Work stealing ∗ [email protected], CNRS and CEA/DAM,DIF † [email protected], Grenoble University ‡ [email protected], Grenoble University § [email protected], Université de Franche-Comté in ria -0 04 58 13 3, v er si on 1 19 F eb 2 01 0 Ordonnancement par liste : cout de la répartition de la liste Résumé : Les algorithmes de liste sont une technique classique et efficace pour l’ordonnancement de tâches sur des systèmes parallèles et distribués. Cette approche est fondamentalement centralisée. A cause de l’augmentation du nombre de processeurs dans les nouvelles plateformes parallèles, le coût de gestion d’une seule liste centralisée devient prohibitif. Une technique pour diminuer la contention est de répartir la liste sur les unités de calculs. Dans ce cas, chaque processeur a seulement une vue locale du travail à exécuter. L’objectif de cet article est d’étudier le surcout induit par la répartition de la liste de tâches sur les différents processeurs. On présente une méthode générale pour calculer l’espérance du temps de complétion basée sur l’analyse d’une fonction potentielle qui représente le déséquilibre de charge entre les listes locales. On applique cette méthode à plusieurs problèmes d’ordonnancement : travail divisible, tâches unitaires indépendantes, tâches pondérées indépendantes et tâches avec dépendances. On présente dans un premier temps la méthode dans le cas simple du travail divisible puis on l’étend aux autres cas. On prouve que le temps de calcul d’une charge globale W sur m processeurs est égal à W/m plus un terme additionnel en 4e e−1 log2W . On présente une borne inférieure qui montre que ce résultat est optimal à un facteur constant près en log2W . On étend ce résultat au cas des tâches indépendantes avec une analyse similaire. De plus, on montre comment adapter cette méthode aux cas des graphes de dépendances. Cette analyse permet d’améliorer le facteur constant dans le terme additif de la borne de Arora, Blumofe et Plaxton. Enfin, on présente des résultats expérimentaux en utilisant un simulateur. La distribution du temps de complétion correspond à une loi de probabilité connue. De plus, on étudie le terme additif et on montre qu’il est environ de 3 log2W indiquant que notre analyse est précise à moins d’un facteur 3. Mots-clés : Ordonnancement, Algorithmes de liste, Vol de Travail, Données distribuées in ria -0 04 58 13 3, v er si on 1 19 F eb 2 01 0 List Scheduling: The Price of Distribution 3